Chỉ có một chút biên niên sử được ghi lại về thời thơ ấu và tuổi trẻ của Philip, phần lớn do ông là người sinh ra trong gia đình hoàng gia. Cha của Philip, Charles, Bá tước Valois, là một em trai của Vua Philip IV của Pháp,[1] người đã nỗ lực trong suốt cuộc đời mình để giành lấy ngai vàng Pháp nhưng không bao giờ thành công. Ông qua đời năm 1325 lúc 55 tuổi, để lại đứa con trai cả Philip là người thừa kế của các quận Anjou, Maine và Valois.[2]